Ông nhập ngũ vào giai đoạn cuối Chiến tranh Việt Nam và được biên chế vào Sư đoàn 341, Quân đội Nhân dân Việt Nam (còn gọi là Đoàn Sông Lam) Quân khu 4 mới thành lập trước đó không lâu tại Nghệ An. Sau đó, ông cùng đơn vị tham chiến trong chiến dịch Hồ Chí Minh sau đó là Chiến tranh biên giới Tây Nam, đi lên từ chiến sĩ lên chức vụ Chính trị viên Tiểu đoàn.

Tháng 01/1972 – 7/1973: Chiến sĩ, Tiểu đội phó, Tiểu đoàn 14, Sư đoàn 320, Sư đoàn 308.

Tháng 8/1973 – 10/1974: Tiểu đội trưởng, Tiểu đoàn 14, Trung đoàn 55, Sư đoàn 341, Quân khu 4.

Tháng 11/1974 – 10/1978: Trung úy, Trung đội trưởng, Chính trị viên phó, Chính trị viên đại đội, Đảng ủy viên Đảng ủy Tiểu đoàn 14, Trung đoàn 55, Sư đoàn 341, Quân khu 4.

Tháng 11/1978 – 3/1981: Thượng úy, Trợ lý tổ chức Phòng Chính trị, Sư đoàn 341, Quân khu 4.

Tháng 4/1981 – 8/1982: Thượng úy, Học viên Trung cấp Trường Quân chính, Quân khu 4; Học viên Trường Văn hoá Quân đội.

Tháng 9/1982 – 7/1985: Đại úy, Học viên Học viện Chính trị - Quân sự.

Tháng 8/1985 – 7/1987: Đại úy, Phó Chủ nhiệm chính trị, Phó Chính ủy, Bí thư Đảng ủy Trung đoàn, Trung đoàn 667, Trung đoàn 779, Sư đoàn 346, Quân đoàn 26, Quân khu 1; Đảng ủy viên Đảng ủy Quân sự tỉnh Cao Bằng.

Tháng 8/1987 – 01/1988: Thiếu tá, Bí thư Đảng ủy Trung đoàn, Phó Chính ủy Trung đoàn 462, Sư đoàn 392, Quân khu 1.

Tháng 02/1988 – 8/1994: Trung tá, Trợ lý Cục Tổ chức, Tổng cục Chính trị; Học viên Học viện Quốc phòng Việt Nam.

Tháng 9/1994 – 10/2000: Thượng tá, Đại tá, Phó phòng, Trưởng phòng Công tác Chính trị rồi Cục phó Cục Tổ chức, Tổng cục Chính trị; Học viên hoàn thiện cử nhân tại Học viện Chính trị - Quân sự (1995 – 1996).

Tháng 11/2000 – 4/2003: Đại tá, Phó Bí thư Đảng ủy, Cục trưởng Cục Chính sách, Tổng cục Chính trị.

Tháng 5/2003 – 11/2004: Đại tá, Ủy viên Thường vụ Đảng ủy, Chủ nhiệm chính trị Quân khu 3.

Tháng 12/2004 – 3/2006: Thiếu tướng, Bí thư Đảng ủy, Phó Chính ủy Quân khu 3.

Tháng 4/2006 – 11/2007: Thiếu tướng rồi Trung tướng, Bí thư Đảng ủy, Chính ủy Quân khu 3. Học lớp nghiên cứu cán bộ cao cấp tại Học viện Chính trị Quốc gia Hồ Chí Minh (2006). Tại Đại hội đại biểu toàn quốc lần thứ X của Đảng được bầu vào Ban Chấp hành Trung ương Đảng; được chỉ định tham gia Đảng ủy Quân sự Trung ương.

Tháng 12/2007 – 01/2011: Ủy viên Trung ương Đảng, Ủy viên Đảng ủy Quân sự Trung ương, Trung tướng, Phó Chủ nhiệm Tổng cục Chính trị Quân đội nhân dân Việt Nam.

Tháng 01/2011 – 02/2011: Ủy viên Trung ương Đảng, Trung tướng, Phó Chủ nhiệm Tổng cục Chính trị Quân đội nhân dân Việt Nam. Tại Đại hội đại biểu toàn quốc lần thứ XI của Đảng được bầu vào Ban Chấp hành Trung ương Đảng, được Ban Chấp hành Trung ương bầu vào Ban Bí thư Trung ương Đảng; được chỉ định Ủy viên Thường vụ Quân ủy Trung ương.

Tháng 02/2011 – 4/2016: Bí thư Trung ương Đảng, Ủy viên Thường vụ Quân ủy Trung ương, Thượng tướng (tháng 12/2011), Chủ nhiệm Tổng cục Chính trị Quân đội nhân dân Việt Nam; Đại biểu Quốc hội khoá XIII. Ông được thăng quân hàm từ Thượng tướng lên Đại tướng tháng 10/2015.

Tại Đại hội đại biểu toàn quốc lần thứ XII của Đảng được bầu vào Ban Chấp hành Trung ương Đảng, được Ban Chấp hành Trung ương bầu vào Bộ Chính trị.

Tháng 9/4/2016: Tại kỳ họp thứ 11, Quốc hội khóa XIII, được Quốc hội phê chuẩn, Chủ tịch nước bổ nhiệm giữ chức Bộ trưởng Bộ Quốc phòng.

Tháng 28/7/2016: Tại kỳ họp thứ nhất, Quốc hội khóa XIV, được Quốc hội phê chuẩn, Chủ tịch nước bổ nhiệm giữ chức Bộ trưởng Bộ Quốc phòng.